from sklearn.feature_extraction.text import CountVectorizer

# 结巴分词，将三段花分词之后变成字符串
import jieba

str1 = """今天很残酷，明天更残酷，后天很美好，
但绝对大部分是死在明天晚上，所以每个人不要放弃今天。

我们看到的从很远星系来的光是在几百万年之前发出的，
这样当我们看到宇宙时，我们是在看它的过去。

如果只用一种方式了解某样事物，你就不会真正了解它。
了解事物真正含义的秘密取决于如何将其与我们所了解的事物相联系。"""

def cut_word(str_data):
    words = jieba.cut(str_data)
    # 存入列表
    _content = []
    for w in words:
        _content.append(w)
    # 返回空格分开的字符串
    return " ".join(_content)
cut_str = cut_word(str1)
# print(cut_str)

# 进行特征抽取
cv = CountVectorizer()
result = cv.fit_transform([cut_str])
print(cv.get_feature_names())
print(result.toarray())

#todo 留了一个问题，很多特征比较大，比方“了解”这个词，但是却毫无意义。这个时候就有tfidf